每日操纵任务的特征是与动作和对象形状相关的几何基原始人。这样的几何描述符仅通过使用笛卡尔坐标系统而差异很差。在本文中，我们提出了一种学习方法，以从坐标系词典中提取最佳表示，以编码观察到的运动/行为。这是通过在Riemannian歧管上使用高斯分布的扩展来实现的，该分布用于通过将多个几何形状作为任务的候选表示来分析一组用户演示。我们根据迭代线性二次调节器（ILQR）提出了复制问题作为一般最佳控制问题，其中使用提取的坐标系中的高斯分布来定义成本函数。我们将方法应用于模拟和7轴Franka Emika机器人中的对象抓握和箱式打开任务。结果表明，机器人可以利用几个几何形状来执行操纵任务并将其推广到新情况下，通过维护感兴趣的坐标系中任务的不变特征。

Large language models (LLMs) have demonstrated excellent zero-shot generalization to new language tasks. However, effective utilization of LLMs for zero-shot visual question-answering (VQA) remains challenging, primarily due to the modality disconnection and task disconnection between LLM and VQA task. End-to-end training on vision and language data may bridge the disconnections, but is inflexible and computationally expensive. To address this issue, we propose \emph{Img2Prompt}, a plug-and-play module that provides the prompts that can bridge the aforementioned modality and task disconnections, so that LLMs can perform zero-shot VQA tasks without end-to-end training. In order to provide such prompts, we further employ LLM-agnostic models to provide prompts that can describe image content and self-constructed question-answer pairs, which can effectively guide LLM to perform zero-shot VQA tasks. Img2Prompt offers the following benefits: 1) It can flexibly work with various LLMs to perform VQA. 2)~Without the needing of end-to-end training, it significantly reduces the cost of deploying LLM for zero-shot VQA tasks. 3) It achieves comparable or better performance than methods relying on end-to-end training. For example, we outperform Flamingo~\cite{Deepmind:Flamingo2022} by 5.6\% on VQAv2. On the challenging A-OKVQA dataset, our method even outperforms few-shot methods by as much as 20\%.

GPT-3 (Generative Pre-trained Transformer 3) is a large-scale autoregressive language model developed by OpenAI, which has demonstrated impressive few-shot performance on a wide range of natural language processing (NLP) tasks. Hence, an intuitive application is to use it for data annotation. In this paper, we investigate whether GPT-3 can be used as a good data annotator for NLP tasks. Data annotation is the process of labeling data that could be used to train machine learning models. It is a crucial step in the development of NLP systems, as it allows the model to learn the relationship between the input data and the desired output. Given the impressive language capabilities of GPT-3, it is natural to wonder whether it can be used to effectively annotate data for NLP tasks. In this paper, we evaluate the performance of GPT-3 as a data annotator by comparing it with traditional data annotation methods and analyzing its output on a range of tasks. Through this analysis, we aim to provide insight into the potential of GPT-3 as a general-purpose data annotator in NLP.

空间红外的小型船舶检测旨在将小型船只与轨道轨道捕获的图像分开。由于图像覆盖面积极大（例如，数千平方公里），这些图像中的候选目标比空中基于天线和陆基成像设备观察到的目标要小得多，二聚体，更可变。现有的简短成像基于距离的红外数据集和目标检测方法不能很好地用于空间监视任务。为了解决这些问题，我们开发了一个空间红外的小型船舶检测数据集（即Nudt-Sirst-Sea），该数据集具有48个空间基红外图像和17598像素级的小型船上注释。每个图像覆盖约10000平方公里的面积，带有10000x10000像素。考虑到这些充满挑战的场景，考虑到这些微小的船只的极端特征（例如，小，昏暗，可变的），我们在本文中提出了多层Transunet（MTU-NET）。具体而言，我们设计了视觉变压器（VIT）卷积神经网络（CNN）混合编码器来提取多层次特征。首先将局部特征图用几个卷积层提取，然后馈入多级特征提取模块（MVTM）以捕获长距离依赖性。我们进一步提出了一种拷贝性衡量量 - 帕斯特（CRRP）数据增强方法，以加速训练阶段，从而有效地减轻了目标和背景之间样本不平衡问题的问题。此外，我们设计了一个焦点损失，以实现目标定位和形状描述。 NUDT-SIRST-SEA数据集的实验结果表明，就检测概率，错误警报率和联合交集的交集而言，我们的MTU-NET优于传统和现有的基于深度学习的SIRST方法。

由长期记忆复发网络（LSTM-RNN）和变压器代表的最先进的神经网络语言模型（NNLMS）和变压器变得非常复杂。当获得有限的培训数据时，它们容易过度拟合和泛化。为此，本文提出了一个总体完整的贝叶斯学习框架，其中包含三种方法，以说明LSTM-RNN和Transformer LMS的潜在不确定性。分别使用贝叶斯，高斯过程和变异LSTM-RNN或变压器LMS对其模型参数，神经激活的选择和隐藏输出表示的不确定性。有效的推理方法被用来自动选择使用神经体系结构搜索的最佳网络内部组件作为贝叶斯学习。还使用了最少数量的蒙特卡洛参数样本。这些允许贝叶斯NNLM培训和评估中产生的计算成本最小化。实验是针对两项任务进行的：AMI符合转录和牛津-BBC唇读句子2（LRS2）使用最先进的LF-MMI培训的有效的TDNN系统重叠的语音识别，具有数据增强，扬声器的适应和多种音频，频道横梁成形以进行重叠的语音。基线LSTM-RNN和Transformer LMS具有估计的模型参数和辍学正则化的一致性改进，就困惑性和单词错误率（WER）获得了两项任务。特别是，在LRS2数据上，在基线LSTM-RNN和Transformer LMS中，在贝叶斯NNLMS及其各自的Baselines之间的模型组合后，在基线LSTM-RNN和Transferes LMS上分别获得了最高1.3％和1.2％的绝对降低（相对12.1％和11.3％）。 。

图像文本检索（ITR）在桥接视觉和舌形式方面具有挑战性。对比度学习已被大多数先前的艺术所采用。除了有限的负面图像文本对外，约束学习的能力受到手动加权负对以及对外部知识的不认识的限制。在本文中，我们提出了新型耦合多样性敏感的动量约束学习（编码器），以改善跨模式表示。首先，发明了一种新颖的多样性对比度学习（DCL）体系结构。我们引入了两种模式的动态词典，以扩大图像文本对的比例，并且通过自适应负面对加权实现多样性敏感性。此外，编码器设计了两个分支。一个人从图像/文本中学习实例级的嵌入式，它还基于其嵌入为其输入图像/文本生成伪在线聚类标签。同时，另一个分支学会从常识知识图中查询以形成两种模式的概念级描述符。之后，两个分支都利用DCL来对齐跨模式嵌入空间，而额外的伪聚类标签预测损失则用于促进第二个分支的概念级表示学习。在两个流行的基准测试（即Mscoco和Flicker30k）上进行的广泛实验，验证编码器的表现明显优于最先进的方法。

在本文中，我们提出了一个新的领域概括（DG）框架，基于与看不见领域的风险的新上限。尤其是，我们的框架建议共同最大程度地减少可见域之间的协变量转移以及概念转移，从而在看不见的域上表现更好。虽然可以通过协变量和概念对准模块的任意组合来实施所提出的方法，但在这项工作中，我们使用良好的方法来分配一致性，即最大平均差异（MMD）和协方差比对（珊瑚）和使用，并使用不变的风险最小化（IRM）基于概念对齐的方法。我们的数值结果表明，所提出的方法在几个数据集上的域概括性要比最先进的方法执行或更好。

对于人工智能系统来说，在低计算成本的情况下实现准确的视频识别是一项挑战。基于自适应推理的有效视频识别方法通常会预览视频，并专注于显着零件以降低计算成本。大多数现有作品都集中在复杂的网络学习，并具有基于视频分类的目标。以所有框架为正样本，其中很少有人关注积极样本（显着框架）和负面样本（非空位框架）之间的歧视。为了填补这一空白，在本文中，我们提出了一个新型的非高度抑制网络（NSNET），该网络有效地抑制了非征力框架的响应。具体而言，在框架级别上，可以生成可以区分显着框架和非空位框架的有效伪标签，以指导框架显着性学习。在视频层面上，在双重视频级别的监督下都学会了一个时间关注模块，这些模块既是对突出表示和非偏心表示形式。从两个两个级别的显着度测量都合并以利用多粒性互补信息。在四个众所周知的基准上进行的广泛实验验证了我们的NSNET不仅实现了最先进的准确性效率折衷，而且比最先进的推理速度要快得多（2.4〜4.3倍） - 艺术方法。我们的项目页面位于https://lawrencexia2008.github.io/projects/nsnet。

有效的视频识别是一个热点研究主题，具有互联网和移动设备上多媒体数据的爆炸性增长。大多数现有方法都选择了显着帧，而不意识对特定于类的显着性分数，这忽略了框架显着性及其归属类别之间的隐式关联。为了减轻此问题，我们设计了一种新颖的时间显着性查询（TSQ）机制，该机制引入了特定于类的信息，以提供明显测量的细粒线索。具体而言，我们将特定于类的显着性测量过程建模为查询响应任务。对于每个类别，它的共同模式被用作查询，最突出的框架对其进行了响应。然后，计算出的相似性被用作框架显着性得分。为了实现这一目标，我们提出了一个时间显着性查询网络（TSQNET），其中包括基于视觉外观相似性和文本事件对象关系的TSQ机制的两个实例化。之后，实施了交叉模式相互作用以促进它们之间的信息交换。最后，我们使用了两种模式生成的最自信类别的特定阶级销售，以执行显着框架的选择。广泛的实验通过在ActivityNet，FCVID和Mini-Kinetics数据集上实现最新结果来证明我们方法的有效性。我们的项目页面位于https://lawrencexia2008.github.io/projects/tsqnet。

最近，对抗性训练已被纳入自我监督的对比预训练中，以增强标签效率，并具有令人兴奋的对抗性鲁棒性。但是，鲁棒性是经过昂贵的对抗训练的代价。在本文中，我们表明了一个令人惊讶的事实，即对比的预训练与稳健性具有有趣而隐含的联系，并且在经过训练的代表中如此自然的鲁棒性使我们能够设计出一种强大的鲁棒算法，以防止对抗性攻击，Rush，将标准组合在一起。对比的预训练和随机平滑。它提高了标准准确性和强大的精度，并且与对抗训练相比，培训成本大大降低了。我们使用广泛的经验研究表明，拟议中的Rush在一阶攻击下的共同基准（CIFAR-10，CIFAR-100和STL-10）的大幅度优于对抗性训练的强大分类器。特别是，在$ \ ell _ {\ infty} $下 - 大小为8/255 PGD攻击CIFAR-10的标准扰动，我们使用RESNET-18作为骨架达到77.8％的型号达到77.8％稳健精度和87.9％的标准精度。与最先进的工作相比，我们的工作的鲁棒精度提高了15％以上，标准准确性略有提高。